SPOT：通过提交顺序预测增强扩散语言模型的推测解码
🧭 扩散语言模型推理加速 · 推测解码
Technion – Israel Institute of Technology · Ben-Gurion University of the Negev
提出SPOT小模型预测扩散语言模型的下一个提交位置，构建候选树实现无损推测解码，吞吐最高提升3.4倍
📌 工作参考价值（4 点）
- 若业务使用扩散语言模型生成文本（如商品描述、推荐理由、query 扩展），可部署 SPOT 这类 0.62M 参数的 drafter，仅读目标模型输出分布预测更新顺序，目标模型单次 pass 验证，实现无损加速，额外计算成本极低。
- 非自回归生成场景（如并行生成多个推荐解释、多位置 mask 填充）可借鉴“顺序外置”思路：训练轻量模型预测哪些位置先提交，减少大模型前向次数，适合低延迟实时推荐。
- SPOT 的 drafter 只依赖目标模型输出分布，具备跨模型迁移能力，可以在多个不同扩散语言模型间复用，降低频繁换模型的部署成本；业务上可训练一个通用 drafter。
- SPOT-Sets 支持动态阈值解码下一次性提交多个位置，适合同时生成多个字段（标题、标签、摘要）的任务，在 SDAR-8B 上平均提升 59% 吞吐，可借鉴到多字段并行生成的工程实现。
推测扩散：双重权衡下的速度-质量前沿
🧭 LLM 推理加速 · 推测解码与扩散模型
University of California, Los Angeles · Independent Researcher
联合调节扩散努力与推测解码宽松度，可扩展速度-质量 Pareto 前沿
📌 工作参考价值（4 点）
- 在电商/广告的 LLM 在线推理场景（如生成推荐理由、商品描述、Agent 工具调用），可考虑用扩散 LLM 作为 draft model 进行推测解码，其并行 token 生成能力有助于突破 AR 解码的内存带宽瓶颈。
- 当业务对 latency 敏感但可接受一定质量损失时，不必固守 lossless speculative decoding，可以显式引入 acceptance leniency 参数，快速获得有损加速。
- 工程实现上，不要只调 draft model 的 diffusion steps，应同时扫描 diffusion effort 和 speculative acceptance threshold 两个维度，找到适合自身业务的 Pareto 最优配置。
- 对需要动态权衡质量与延迟的系统（如搜索推荐中的 LLM 重排、对话式推荐），可构建类似的双参数调节机制，让线上策略根据流量状况实时切换。
Orthros：相位感知异构注意力，高效 Transformer
🧭 高效 Transformer 注意力架构 ★ 深度解读
The Hong Kong Polytechnic University · University of Chinese Academy of Sciences · Independent Researcher · University of Sydney
Orthros 注意力按预填充/解码相位解耦：线性复杂度预填充加全注意力解码，长上下文召回近无损并大幅加速推理
📌 工作参考价值（4 点）
- 对于推荐/搜索/Agent 中长 prompt、短输出的场景（如基于大段用户行为序列生成推荐理由、商品描述改写），这类相位解耦注意力可将 TTFT 降低数倍，适合在线低延迟要求；若输出很短，收益尤其明显。
- 现有 LLM（如 Qwen3、Llama3.1）可通过 80B token 级继续训练转换为 Orthros 结构，且性能不降，业务方可在已有模型上低成本验证和部署；转换时注意保留窗口大小 128 的设置。
- 双流设计（滑动窗口 + 全注意力）通过复制输出 token 实现全局召回，可复用到需要长上下文记忆的对话式推荐、个性化解释生成等任务，避免线性注意力带来的召回损失。
- 工程落地需注意：当前实现基于 FLA/SGLang，解码时额外 token 会增加 FLOPs，但在 I/O bound 解码阶段可被掩盖；若使用 MoE 或需要 KV cache 压缩，需要定制路由和缓存策略。
SpecFold：折叠多分支冗余加速扩散语言模型推测解码
🧭 扩散语言模型 · 推测解码加速
Georgia Institute of Technology
利用多分支推测验证中的隐藏状态冗余，通过残差门控与折叠注意力/FFN降低计算，最高实现1.64倍吞吐提升
📌 工作参考价值（4 点）
- 若线上用 multi-branch speculative decoding 加速 LLM 生成（如 query 改写、商品文案、Agent 回复），可借鉴 SpecFold 的 parent-child 分支隐藏状态复用：draft branches 往往只额外 unmask 少量 token，大部分 hidden states 与父分支高度相似，可做 token-level residual gating 跳过重复 attention/FFN 计算。
- 算法-系统协同设计值得参考：将细粒度重用逻辑用 Triton kernel 实现为稀疏多分支执行，避免框架层 overhead，否则算法上的 FLOPs 节省难以转化为端到端吞吐增益。
- SpecFold 与 temporal caching 正交，可与 KV cache、前缀缓存等叠加；若未来在生成式推荐中使用扩散模型生成 Semantic ID 序列，同样存在跨步/跨分支冗余，可借鉴类似折叠思想。
- 论文验证了在多个 DLLM 上吞吐提升且精度不降，说明这种近似重用在文本生成任务上风险可控，适合延迟敏感的搜索/推荐在线服务。
MassAlloc Attention：让注意力自主分配计算
🧭 高效注意力 · 自适应计算分配 ★ 深度解读
The Hong Kong University of Science and Technology (Guangzhou) · Beijing Academy of Artificial Intelligence · Université Paris Cité
提出MALA，保留完整QK打分，按归一化注意力贡献度跳过低价值后处理，显著降低长上下文训练/推理计算且保持精度
📌 工作参考价值（4 点）
- 在长用户行为序列建模或长上下文推荐中，可借鉴 MALA 思路：保留完整 QK 打分以捕获任意长程兴趣依赖，但用归一化贡献阈值跳过低贡献 tile 的 V 加载和 PV 累积，从而降低线上推理延迟和离线训练 FLOPs，且精度损失极小。
- 统一阈值 τ/L_q 的设计省去逐层/逐头/逐输入单独标定，适合电商场景中用户序列长度动态变化（从几十到几千）的部署；可根据线上延迟要求全局调整 τ，无需重新训练。
- 反向传播复用前向保存的 finalized normalizer，仅用标准 attention 状态推导嵌套支持，不额外存 mask 或索引，内存开销与 FullAttn 持平，对显存受限的推荐模型训练尤其有吸引力。
- 与 MoBA、DSA 等提前丢弃 QK 的稀疏方法不同，MALA 保留完整 QK 打分，适合需要精确长程关联检索的任务（如跨会话用户兴趣召回、长文档中的商品关联），可作为底层注意力替换方案集成到现有长上下文 LLM 推荐或 Agent 系统中。
Flash-dLLM：IO感知KV缓存与并行解码加速扩散LLM
🧭 扩散LLM推理加速·KV cache
VILA Lab, MBZUAI
训练无关Flash-dLLM以IO感知融合KV cache和自草稿-验证解码，显著加速扩散LLM推理并省内存
📌 工作参考价值（4 点）
- 在 LLM 推理服务（如广告文案/搜索词生成）中，KV cache 的 HBM 读写常成为瓶颈；可借鉴 Flash-dLLM 的 IO-aware 融合 kernel，把多个注意力/cache 操作合并执行，减少冗余显存搬运，提升 batch/long-context 吞吐。
- 自草稿-验证（self draft-and-verify）不引入额外 drafter 模型，适合资源受限的 Agent/推荐系统：让主模型复用 KV cache 同时生成候选并按验证结果接受，降低延迟且不增加显存。
- 其并行解码与 KV-cache 驱动候选验证思路可迁移到批量生成场景，例如离线批量生成商品标题、query 改写或 push 文案；考虑非自回归或半自回归解码来扩大 batch size、缩短首 token 延迟。
- 面对 RAG 长文档或用户长序列，KV cache 显存与 I/O 受限时，可参考其对缓存复用和显存效率的优化策略，设计更紧凑的 cache 分层或融合模式。
Video DeltaNet：面向直播视频生成的视频原生混合注意力
🧭 视频生成 · 混合线性注意力加速
University of California, Berkeley · Impossible, Inc. · University of Texas at Austin
提出 Video DeltaNet，用局部 Softmax 注意力+双向线性记忆加速视频扩散，在 MiniMax H3 上实现 14.5 倍去噪加速
📌 工作参考价值（4 点）
- 混合注意力可用于用户长期行为序列建模：对最近行为用局部 Softmax 精确捕捉，对远期行为用线性 memory 压缩，控制长序列推理成本；推荐/广告的 user sequence transformer 可以尝试。
- 分阶段 teacher-alignment 是向预训练模型注入新模块的低风险方法：先固定原主干，单独训练新分支对齐教师输出，再逐步解冻联合微调；适合在已有排序/召回模型上实验新型注意力。
- 按语义单元（session/帧/事件）更新 memory 而非逐 token：直播、短视频等场景中，用户在一个 session 内的行为可以聚合更新，减少状态更新频率，同时保持序列语义完整。
- few-step distillation + 分布式 serving 可大幅压缩生成式模型推理延迟：业务上如创意文案生成、商品视频摘要等可借鉴 8 步蒸馏和 SGLang 优化栈。
超越无压缩：RAG 软上下文压缩的两阶段训练配方
🧭 RAG 软上下文压缩 · 蒸馏+RL 训练
Shandong University · Bloomberg · Leiden University
用正确样本蒸馏 + 失败样本强化学习两阶段训练，让 16 倍压缩的 RAG 软上下文效果反超无压缩基线
📌 工作参考价值（4 点）
- 若在商品知识问答、客服 RAG、广告文案检索增强等场景用 LLM 消费长文档，可尝试 soft context compression：把 top-N 商品详情/用户评价/知识条目编码成少量 embedding，替代原始文本，换取 4×–24× 的推理提速。
- 训练配方的可迁移点在于：蒸馏时只用教师 RAG 回答正确的样本，避免把无压缩模型的错误模式蒸馏进压缩模型；然后专门在教师失败的 query 上做 RL，让压缩模型学习更适配压缩表示的计算路径，而不是只模仿教师上限。
- 对推荐/搜索中的 LLM ranker 或生成式 item 描述，若需压缩长用户行为序列或 item 文本，可以用类似两阶段：先用正确输出 warm-start，再对 hard case 做策略探索，可能比直接 SFT 或全量蒸馏更稳。
- 评估时值得像论文一样扫不同 retrieval depth（top-5 到 top-30），确认压缩方案在长上下文下是否仍保持收益，而不是只在单点设置上调优。
不要丢弃 Dropout：优化层稀疏性实现高效 LLM 训练与推理
🧭 LLM 层稀疏训练与推理加速
Cerebras Systems · MBZUAI
系统优化层丢弃的分布、调度与超参数，同等 FLOPs 降低损失，训练省 25% FLOPs，推理提速达 1.5 倍
📌 工作参考价值（4 点）
- 若团队在自研或微调大规模 Transformer 推荐模型 / 用户行为序列 LLM，可重新引入 layer dropout，按论文给出的非均匀层分布、渐进式线性衰减调度和优化器超参配置，在不增加训练 FLOPs 预算下获得更低验证损失，或节省约 25% 训练 FLOPs。
- 利用 layer dropout 训练得到的模型具有 elastic depth 能力，可直接做静态 early exit 或 intermediate layer skipping；在电商搜索推荐、Agent 场景中对 LLM 调用频繁的在线服务，可降低推理延迟并节省算力。
- 训练后的模型可配合 self-speculative decoding，将推理速度再提升至 1.5x 且精度损失可忽略，适合广告文案生成、查询理解、对话式推荐等对响应时间敏感的线上链路。
- 对于已有 transformer 模型，可尝试用 layer dropout 做轻量正则化，提升模型对后续剪枝 / 跳层推理的鲁棒性，为线上弹性部署提供基础。
偏好塑造相关性：个性化生成式检索的跨组件层级语义对齐
🧭 生成式检索 · 个性化语义对齐 ★ 深度解读
University of Science and Technology of China · Meituan
提出 CHAP：层级语义对齐与双视图个性化生成式检索，单次解码加速，线上转化提升2.98%
📌 工作参考价值（4 点）
- 冻结 RQ-VAE codebook，对 query encoder 做 cross-sample alignment + 层级对比学习 + soft probability distillation，可显著缩小 query 与 item 的 Semantic ID 语义 gap，适合电商搜索直接复用；但需预留 codebook 动态更新机制，避免丢失协同过滤信号。
- 用 sparse SID + dense raw embedding 双视图建模用户历史：sparse 提供稳定粗排结构，dense 补足长尾/个性化语义，尤其对歧义 query 有效；为防止历史行为淹没当前 query，decoder 初始化只用 query，不要喂完整历史当前缀。
- 推理架构上，将 Transformer Decoder 限制为单次前向，后续层级 SID 用轻量 residual block 生成；并行采样 50 个候选后，用 temperature-normalized sparse/dense 分数乘性融合做重排。该设计把 QPS 从 32.4 提升到 78.9，适合线上低延迟召回。
- 业务目标不要只看 CTR：CHAP 线上 UV-CXR +2.09%、支付订单 +2.98%，说明语义对齐 + 双视图更能触达转化意图；部署时可通过 Triton 解耦模块，不依赖 query cache，保证实时性。
PACE：统一的压缩-提取范式加速视觉语言模型推理
🧭 VLM推理加速 · token压缩
Sun Yat-sen University · Power Dispatch Control Center, Guangdong Power Grid Co., Ltd. · Shenzhen Loop Area Institute
训练无关的VLM推理加速框架，通过像素自适应压缩和动态双注意力提取，仅用10%视觉token保留93.8%性能，TTFT加速3.1倍
📌 工作参考价值（4 点）
- 电商商品图像理解：对大规模商品图进行VLM推理（如属性提取、图文一致性校验）时，可借鉴APC在编码前评估像素信息密度，对背景简单或冗余区域降采样，降低视觉编码器计算量，显著缩短首token延迟，适合实时性要求高的在线服务。
- 多模态Agent在搜索/推荐中的应用：当Agent需要理解用户上传图片或商品图来辅助推荐时，DDAE融合视觉编码器内部信号和LLM语义信号，可在严格token预算下保留关键视觉细节（如商品logo、纹理），避免性能损失，提升交互响应速度。
- 训练无关、即插即用的设计便于快速集成到现有VLM服务，无需微调即可部署，适合频繁迭代的线上系统；10%视觉token保留93.8%性能、3.1倍TTFT加速的结论可作为token预算设定的参考基准。
- 架构上，将压缩前置到编码器之前、提取后置到LLM之前，形成两级优化，这种“先压缩后提取”的范式可以启发多模态推荐中其他模态（如视频帧、音频）的token优化，在保持性能的同时降低整体推理成本。
划分支持集并重构残差：面向视频生成与世界模型的训练-free稀疏注意力
🧭 训练-free 稀疏注意力加速视频 Transformer
Texas A&M University
训练-free稀疏注意力，通过响应耦合分区与探针拟合残差重构，在视频生成和世界模型中保持质量并加速1.48-2.61倍
📌 工作参考价值（4 点）
- 对长序列用户行为建模的 Transformer 推理，可借鉴训练-free 稀疏注意力：先按 query 与 key 的响应相关性做块划分，再用少量 probe query 精确计算残差，用仿射校正补偿被跳过的注意力，避免重新训练。
- 适合已有预训练电商/推荐大模型在线上做低成本加速，不需改权重，直接以更低的 executed-pair density（如 22-26%）换取 1.5-2.6x 端到端吞吐提升。
- 探针拟合成本低、效果贡献大，可以在工程实现中作为轻量残差模块嵌入，优先保证 probe 数量和选择策略，而不是复杂的分区方法。
- 若有多头注意力且头间分布差异明显，可做 head-dependent 稀疏策略，本方法中的响应耦合分区思路可迁移到不同 head 和长序列场景。
OmniScope：面向全模态大语言模型的模态解耦Token压缩
🧭 全模态LLM推理加速 · 模态解耦压缩
Xiamen University · Alibaba Group
训练无关的模态解耦压缩框架，解决音视频跨模态显著度错配，实现高效全模态推理
📌 工作参考价值（4 点）
- 模态解耦思想可迁移到多模态推荐：在视频+音频+文本场景下，不同模态对点击/转化的贡献峰值可能不同时，应独立计算各模态token显著性再融合，避免跨模态指导遗漏关键信息。
- 训练无关压缩框架可直接嵌入已部署的多模态大模型，不增加微调成本；根据内容复杂度动态分配各模态token预算，适合工程化轻量实现。
- anchor-delta视觉剪枝策略保留全局上下文与时序变化，可用于商品展示视频或直播帧采样，保留关键变化帧的同时降低token数。
- 音频按秒合并的冗余去除方法可应用于直播语音或客服会话的压缩，减少后续模型输入长度，提升吞吐。
自适应深度稀疏框架：基于相似度驱动的预训练LLM推理加速
🧭 LLM推理加速 · 深度稀疏化
Southern University of Science and Technology · Huawei Technologies Co., Ltd.
利用层间余弦相似度自适应分配token保留率，将预训练LLM转为深度稀疏模型，无需全量微调即大幅降低推理FLOPs
📌 工作参考价值（4 点）
- 动态层稀疏用于推荐模型推理：电商搜索推荐中常部署深层Transformer（如DIN、SIM、HSTU），可借鉴层间余弦相似度自动识别冗余层，为高延迟模块（如长序列建模）分配不同token保留率，降低在线推理耗时。
- 轻量router做自适应输入裁剪：router逐层选择信息量大的token，类似门控机制。在推荐系统中可用于对用户行为序列、多域特征进行动态重要性采样，尤其适合计算广告中候选物料池较大时的粗排或召回阶段。
- 特征对齐损失稳定稀疏化训练：在蒸馏或模型压缩时，引入中间层与最终输出的表示对齐损失，可缓解稀疏化带来的性能损失，适合将大容量推荐模型压缩为轻量线上模型。
- 免全量微调的快速适配：仅需少量校准数据即可将预训练LLM转为稀疏模型，此方法可推广到电商Agent或query生成模型，当目标任务变更时快速压缩模型，降低迭代成本。
C²KV：压缩与可组合的KV缓存复用，实现高效长上下文LLM推理
🧭 LLM推理加速 · KV缓存复用与压缩
Shanghai Jiao Tong University · Alibaba Group
联合优化KV压缩与拼接，实现位置无关的可组合缓存，长上下文推理加速达17倍
📌 工作参考价值（4 点）
- 在构建基于RAG的推荐或多文档搜索系统时，可直接复用C²KV的压缩与可组合缓存，避免每次请求重新编码海量上下文，大幅降低首token延迟和GPU内存占用。
- 轻量侧车Extractor不修改基座模型，适合在已有生产LLM（如阿里通义、ChatGLM）上快速部署，无需重新训练或对齐，工程风险低。
- 位置无关的模块化缓存设计，允许不同来源的文档片段独立压缩后动态拼接，特别适合电商搜索中多商品描述、多用户评价等异构上下文组合场景。
- 压缩-拼接联合训练策略确保压缩后的表示可直接用于下游注意力计算，避免简单量化和重用带来的精度崩塌，为业务中长文本处理提供了可靠的效率-质量平衡。
SSD：空间推测解码加速自回归图像生成
🧭 自回归视觉生成中的并行推测解码
Rutgers University
利用2D空间局部性并行预测相邻token，将自回归图像生成加速13.3倍且质量无损
📌 工作参考价值（5 点）
- 对于电商/推荐/Agent从业者，该方法可直接迁移到任何自回归生成任务（如生成式推荐中的Semantic ID序列、商品描述、多模态内容生成）：
- 利用 item 间共现或相似性图谱构建空间/结构化的并行预测分支，将逐 token 生成改为多 token 并发预测，减少解码步数，提升推荐结果生成速度。
- 工程上可实现类似树形推测解码的验证机制，用大模型一次产出多个候选 token，再由小模型并行验证，保持输出分布一致。
- 适合对延迟敏感的在线推荐场景，尤其在高分辨率、多模态内容生成（如商品图生成、广告素材合成）中应用，可大幅降低 RTF。
- 需要预先定义 token 之间的依赖关系（如商品 ID 序列的常见转移模式），可结合 Graph Embedding 或 co-occurrence 矩阵来设计并行预测目标。
后训练MoE可通过自蒸馏跳过半数专家
🧭 动态MoE推理加速 · 自蒸馏适配 ★ 深度解读
Tsinghua University · Shanghai AI Lab · WeChat AI · Kuaishou Technology · Frontis.AI
注入零输出专家并两阶段自蒸馏，将静态MoE转为动态，消减超50%专家计算且精度损失极小
📌 工作参考价值（4 点）
- 部署加速：已在线服务的 MoE 模型可直接注入零专家并通过自蒸馏转为动态路由，无需重新预训练，降低推理 FLOPs 和耗时，适合电商对话、Agent 等对延迟敏感的场景。
- 稳定迁移：组级辅助损失（L_GA）仅在普通专家与零专家组之间施加平衡，保留原模型内部路由分布，避免能力坍塌，这一 trick 可复用于其他需要引入“跳过”选项的 MoE 微调。
- 蒸馏策略：SFT + OPD 的两阶段设计先驯化路由再对齐分布，比单阶段更稳定；OPD 使用学生自身 rollout 并由教师提供 token 级目标，缩小训练-推理分布差异。
- 计算分配信号：零专家激活率与师生 logp 差、模型熵高度相关，而与任务难度解耦，可据此设计基于置信度的动态推理策略。
BEAM：通过二值掩码实现MoE动态专家路由
🧭 LLM ★ 深度解读
Alibaba Group · Peking University
提出BEAM，学习二值掩码实现token自适应专家稀疏激活，保留98%性能，MoE层FLOPs减85%，解码加速达2.5倍